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摘 Xe: 提出 一 种 联合 边 路 和 中 路 解码 特征 学 习 的 多 描述 编码 图 像 增强 方法 ， 该 方法 同时 考虑 了 边 路 解码 图 像 增强 
和 中 路 解码 图 像 增强 的 问题 , 因而 可 以 通过 联合 学 习 优 化 中 路 解码 和 边 路 解码 的 特征 来 实现 更 好 的 网 络 训 练 。 IE, 
考虑 到 多 描述 编码 的 边 路 独立 解码 和 中 路 联合 解码 的 特性 ， 提 出 一 种 网 络 共享 的 边 路 低 分 辨 率 特征 提取 网 络 来 有 效 
地 提取 具有 相同 内 容 和 差异 细节 的 两 个 边 路 解码 图 像 的 特征 ， 同 时 设计 一 种 残 差 递归 补偿 网 络 结构 并 将 其 用 于 边 路 
与 中 路 低 分 辨 率 特征 提取 网 络 。 其 次 ， 设 计 一 个 多 描述 边 路 上 采样 重建 网 络 ， 该 重建 网 络 采用 部 分 网 络 层 参数 共享 
策略 ， 该 策略 能 够 减 小 网 络 模型 参数 量 ， 同 时 提高 网 络 的 泛 化 能 力 。 最 后 ， 提 出 一 种 多 描述 中 路 上 采样 重建 网 络 
将 两 个 边 路 低 分 辩 率 特征 与 中 路 低 分 状 举 特征 进行 深层 特征 融合 来 实现 多 描述 压缩 图 像 的 增强 。 大 量 的 实验 结果 表 
明 : 在 模型 复杂 度 、 客 观 质量 和 视觉 质量 评价 方面 , 所 提 的 方法 优 于 很 多 的 图 像 增强 方法 如 ARCNN、FastARCNN、 
DnCNN、WSR £e DWCNN. 
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Abstract: This paper proposes MDC image enhancement method by using joint learning of side- and central-decoding 
features, which considers the problems of side decoding image enhancement and central decoding image enhancement at the 
same time, so it can realize better network training by optimizing central decoding and side decoding features through joint 
learning. First, considering side independent decoding and central joint decoding features for MDC, this paper proposed a 
network-sharing side low-resolution feature extraction network to effectively extract features from two-side decoded images 
with the same content and different details, while it design a residual recursive compensation network structure and apply it 
into both side and central low-resolution feature extraction network. Secondly, a multiple description up-sampling 
reconstruction network is designed, which adopts parameter sharing strategy for partial layers of network, which can reduce 
parameter number of network model and improve network generalization ability. Finally, multiple description central up- 
sampling reconstruction network is proposed to perform deep feature fusion with two low-resolution side features and central 
features to enhance multiple description compressed images. A large number of experimental results have shown that the 
proposed method is superior to several image enhancement methods such as ARCNN, FastARCNN, DnCNN, WSR and 
DWCNN in terms of model complexity, objective quality and visual quality assessment. 
Key words: multiple description coding; deep learning; image enhancement; compression distortion; feature fusion 
0 “引言 (Multiple Description coding, MDC) 将 一 个 信 源 分 成 多 个 描述 , 在 
z 不 同 的 信道 上 传输 不 同 描述 的 数据 。 如 果 在 接收 端 能 够 完全 正 
虽然 现 有 的 通信 系统 能 够 提供 很 宽 的 网 络 带 宽 ， 但 是 在 。 ” 确 地 接收 到 所 有 描述 的 数据 包 ， 那 么 ， 通 过 联合 解码 就 能 
人 了 群 密集 的 演唱 会 现场 、 足 球 比 赛场 地 和 学 生 宿舍 楼 群 等 场 ” 出 高 质量 的 图 像 。 如 果 在 接收 端 只 接收 到 一 个 描述 的 数据 
所 常常 会 发 生 网 络 拥堵 现象 。 此 外 ， 在 很 多 情况 下 有 限 的 通 。 那么 ， 通 过 边 路 解码 器 能 够 恢复 出 一 个 较 高 质量 的 图 像 。 由 出 
信 设 备 资源 会 导致 不 可 靠 信道 的 数据 包 以 很 大 的 概率 发 生 丢 。 ”可见 ， 多 描述 编码 技术 能 实现 图 像 的 可 靠 传 输 。 
失 。 虽 然 很 多 现 有 的 高 效 图 像 压缩 标准 能 够 缓解 该 问题 ， 但 虽然 多 描述 编码 方法 可 以 减少 数据 量 ， 但 是 经 过 压缩 的 
是 无 法 保证 数据 的 可 靠 传 输 。 不 同 于 单 描述 编码 ,多 描述 编码 中 路 和 边 路 图 像 会 发 生 不 同 程度 的 失真 ， 特别 是 接收 到 的 边 
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录用 定稿 赵 利 军 ， 等 ; 联合 边 路 和 中 路 解码 特征 学 习 的 多 描述 编码 图 像 增强 方法 第 39 卷 第 9 其 
路 图 像 存 在 严重 失真 ， 因 此 ， 非 常 有 必要 使 用 图 像 压 缩 伪 影 。 卷 积 核 来 减少 网 络 参数 。 

去 除 技术 来 提升 MDC 图 像 的 解码 质量 。 通 常 ， 将 压缩 伪 影 虽然 以 上 的 这 些 方法 可 以 取得 良好 的 去 噪 性 能 ， 但 是 这 
去 除 技术 分 成 两 类 : 传统 的 压缩 伪 影 去 除 方法 和 基于 深度 学 。 ” 些 方法 无 法 针对 不 同 级 别 的 压缩 伪 影 实现 自 适 应 的 图 像 增强 。 
习 的 压缩 伪 影 去 除 方法 。 例 如 ，Dabov ANE TP 这 些 方法 往往 需要 训练 多 个 去 噪 网 络 模型 ， 这 将 必然 提升 图 
于 变换 域 的 增强 稀 玻 表示 策略 ， 并 且 通 过 分 组 和 协同 滤波 来 ” 像 增强 方法 的 复杂 度 ， 而 且 经 过 训练 的 多 个 模型 将 占用 较 大 
实现 图 像 去 噪 。Foi 等 人 所 提出 了 基于 形状 自 适 应 离散 余弦 变 的 存储 空间 ， 因 此 这 些 方 法 很 难 被 广泛 地 采用 。 为 了 解决 这 
换 的 图 像 滤波 方法 ， 该 方法 定义 了 一 种 区 域 形 状 自 适 应 的 变 ”一 问题 ，Li 等 人 05 提 出 了 一 种 面向 不 同 质量 因子 JPEG 压缩 
换 来 有 效 地 去 除 图 像 的 块 效应 和 边缘 振荡 效应 。Chang 等 人 ”的 单 模型 压缩 伪 影 去 除 方法 ， 该 方法 分 别 使 用 恢复 支 路 和 全 
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m E fa A K RMR 学 习 来 减少 JPEG(Joint 局 支 路 来 解决 局 部 震荡 伪 影 、 全 局 的 块 伪 影 和 颜色 漂移 问题 。 
Photographic Experts Group) 压 缩 所 带 来 的 伪 影 ， 但 是 该 方法 此 外 ，Kirmemis 等 人 09 提 出 了 一 种 BPG(Better Portable 
无 法 恢复 丢失 的 一 些 高 频 信 息 。Zhang 等 人 中 提出 了 一 种 基 Graphics) 图 像 压 缩 的 伪 影 去 除 方法 ， 该 算法 需要 从 三 个 不 同 
非 凸 低 秩 模型 的 图 像 去 块 方法 ， 该 方法 的 优势 在 于 不 改变 大 小 的 压缩 伪 影 去 除 网 络 中 选择 一 个 网 络 对 图 像 进行 去 噪 ， 

现 有 编 解 码 器 的 情况 下 ， 将 量化 约束 显 式 地 变换 到 可 行 解 空 但 是 如 何 挑选 最 佳 的 伪 影 去 除 网 络 是 一 个 非常 棘手 的 问题 。 

间 来 约束 非 凸 的 低 秩 优化 ， 同 时 该 方法 通过 一 种 自 适 应 参数 除了 压缩 图 像 的 增强 问题 外 ， 很 多 的 研究 者 致力 于 解决 视频 
调整 的 交替 最 小 化 策略 来 解决 对 应 的 优化 问题 。 压缩 质量 增强 问题 。 例 如 ，Zhou 等 人 07 提 出 一 种 基于 双 网 络 
在 ImageNet 图 像 识别 大 赛 上 AlexNet 一 举 夺冠 , 标志 着 的 压缩 视频 重建 方法 ， 该 方法 先 用 压缩 网 络 去 除 压缩 伪 影 ， 

进入 了 现代 深度 学 习 的 萌芽 时 期 。 随 后 ，AlphaGo 以 4:1 的 再 使 用 超 分 辩 率 网 络 进一步 提高 视频 质量 。 
比分 战胜 了 国际 顶尖 围棋 高 手 李 世 石 。 自 此 ， 卷 积 神经 网 络 为 了 解决 多 描述 编码 图 像 的 压缩 失真 问题 ,Xuan A5: AUS 
(Convolutional Neural Networks, CNN) 得 到 广泛 的 关注 和 发 展 。 通过 相 邻 关键 帧 估计 来 实现 压缩 图 像 的 增强 .Zhao 等 人 M9 将 
在 计算 机 视觉 领域 深度 学 习 取 得 巨大 成 功 ， 同 时 它 能 够 解决 图 像 预 处 理 和 后 处 理 技术 结合 起 来 ， 构 建 了 一 种 兼容 标准 编 
图 像 超 分 、 去 雨 、 去 雾 和 去 噪 等 任务 。 基 于 深度 学 习 的 压缩 码 器 的 多 描述 编码 新 框架 ， 该 框架 极 大 地 提升 了 图 像 的 编码 
为 影 去 除 的 方法 也 受到 研究 者 的 广泛 关注 。 例 如 ，Yu 等 人 中 效率 和 解码 图 像 质量 。 类 似 地 , ZhangP0 等 人 通过 棋盘 格 下 采 
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是 出 了 一 种 图 像 压缩 伪 影 去 除 的 方法 并 命名 为 样 的 方法 获得 多 个 单 描述 图 像 ， 然 后 使 用 标准 编码 器 进行 编 
ARCNN (Artifacts Reduction Convolutional Neural Network), 码 , 最 后 使 用 卷 积 神经 网 络 来 增强 单 路 和 中 路 解码 图 像 质量 。 
该 方法 验证 了 重用 浅 层 网 络 的 参数 有 利于 训练 模型 的 深层 网 Purica20 等 人 提出 将 视频 序列 的 两 个 低 分 辩 率 压缩 描述 合并 
络 。 为 了 解决 深层 网 络 难 训练 的 问题 , Zhang 5 ALIE HY f — 为 一 个 高 分 辩 率 描述 。ZphangP22] 等 人 采用 奇偶 分 离 的 采样 方 
种 基于 残 差 学习 的 神经 网 络 去 噪 方法 ， 并 将 其 命名 为 式 对 接收 到 的 边 路 描述 进行 重 构 增 强 。ZhuP3 等 人 提出 一 种 


DnCNN(Denoising Convolutional Neural Network)， 该 方法 利 压缩 约束 去 块 算法 ， 该 算法 有 效 地 利用 接收 到 的 两 个 描述 信 
用 残 差 学 习 和 批 归 一 化 操作 构建 深层 卷 积 神经 网 络 ， 这 种 设 息 来 减少 中 路 解码 图 像 的 边界 伪 影 .Xu 提出 一 种 基于 3D- 
计 有 助 于 提升 网 络 的 收敛 速度 和 去 品 性 能 。 为 了 进一步 提升 图 LVQ (3D Lattice Vector Quantization) 的 图 像 编 码 预 测 解 码 方 
像 增强 的 性 能 ，Qiu 等 人 中 提出 了 一 种 基于 深度 残 差 学 习 的 法 ， 该 方法 能 够 提高 边 路 图 像 解码 的 性 能 。 总 而 言 之 ， 这 些 
JPEG 压缩 伪 影 去 除 方法 , 该 方法 将 基于 信号 处 理 的 图 像 恢复 方 深度 学 习 模 型 往往 很 难 满足 轻 量化 设备 的 需求 ， 因 此 ， 需 要 
法 与 深度 残 差 学 习 模 型 相 结合 来 恢复 原始 数据 。 虽 然 以 上 方法 研究 低 复杂 度 的 深度 学 习 模 型 。 为 了 解决 多 描述 压缩 图 像 出 
能 够 获得 比 传统 的 压缩 伪 影 去 除 方法 更 好 的 性 能 ， 但 是 这 些 方 现 的 压缩 伪 影 问题 ， 特 别 是 边 路 解码 图 像 会 出 现 严重 的 结构 
法 没有 充分 利用 图 像 的 上 下 文 信息 来 实现 图 像 质量 的 增强 。 为 分 裂 伪 影 问题 ， 本 文 提 出 一 种 联合 边 路 和 中 路 解码 特征 学 习 
了 解决 这 个 问题 ,Chen 等 人 图 提出 了 一 种 多 尺度 稠密 残 差 网 络 ， 的 多 描述 压缩 图 像 增强 方 法 (MDE)。 本 文 贡献 点 总 结 如 下 : 
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该 网 络 将 不 同 空洞 因子 的 空洞 卷 积 引 入 到 残 差 网 络 的 稠密 模块 ， a) 为 了 解决 现 有 深度 学 习 模 型 占用 存储 空间 大 、 计 算 复 
并 构建 一 种 多 尺度 稠密 模块 来 获得 更 大 的 感受 野 。 度 高 的 问题 ， 设 计 了 一 种 残 差 递归 补偿 网 络 并 将 其 作为 边 路 


不 同 于 神经 网 络 单 域 处 理 方法 ，Zhang 等 人 外 提出 了 一 ”和 中 路 的 低 分 辩 率 特征 提取 网 络 ， 而 且 使 用 参数 共享 策略 来 
种 双 域 多 尺度 卷 积 神经 网 络 方法 (Dual-domain Mnulti-scale 有 效 地 提取 两 个 具有 内 容 相 同 而 细节 存在 差异 的 两 描述 解码 
Convolutional Neural Network, DMCNN)， 该 网 络 能 够 有 效 地 图 像 特 征 。 
利用 全 局 信息 来 消除 JPEG 压缩 伪 影 .类 似 于 DMCNN 方 法 ， b) 考 虑 到 多 描述 编码 的 边 路 独立 解码 特性 ， 设 计 了 多 描 
Zheng 等 人 10 提出 了 一 种 隐 式 双 域 卷 积 网 络 (Implicit Dual- ” 述 边 路 上 采样 重建 网 络 。 多 描述 边 路 上 采样 重建 网 络 也 采用 
domain Convolutional Network, IDCN) 来 减少 彩色 图 像 的 压缩 ”部 分 网 络 层 参数 共享 策略 ， 从 而 减 小 所 提 方 法 的 网 络 模型 参 
伪 影 。 虽 然 DMCNN 与 IDCN 都 采用 了 双 支 路 的 网 络 拓扑 结 。” 数量 并 提高 网 络 的 泛 化 能 力 。 
构 ， 但 它们 并 没有 充分 地 利用 图 像 的 高 低频 信息 来 实现 特征 c) 考 虑 到 多 描述 编码 的 中 路 联合 解码 的 特性 ， 设 计 了 一 种 
互补 。 为 了 充分 地 利用 图 像 高 低频 特征 ,Jin 等 人 00 提 出 了 多 描述 中 路 上 采样 重建 网 络 将 两 个 边 路 低 分 辩 率 特征 和 中 路 低 
种 灵活 的 深度 学 习 图 像 恢复 方法 ， 该 方法 首先 将 低 质 量 的 输 分辩 率 特征 进行 深层 特征 融合 来 实现 多 描述 压缩 图 像 的 增强 。 
入 图 分 解 为 低频 结构 图 和 高 频 纹理 图 ， 其 次 ， 将 两 个 图 像 分 - — is 

别 送 入 质量 增强 网 络 ， 并 将 纹理 特征 用 于 增强 结构 特征 ;最 1 ”所 提 的 多 描述 压缩 图 像 增强 方法 
后 , 使 用 聚合 网 络 将 预测 的 高 质量 纹理 图 和 结构 图 合并 起 来 。 虽然 现 有 的 多 描述 编码 方法 能 够 有 效 地 解决 在 不 稳定 网 
为 了 解决 池 化 和 膨胀 滤波 等 带 来 的 网 格 化 问题 ，Liu SEAT 络 环境 下 图 像 的 可 靠 传输 问题 ， 但 是 有 损 的 多 描述 编码 难免 
3] 提出 了 一 种 多 级 小 波 卷 积 神经 网 络 (Multi-level Wavelet 会 导致 解码 图 像 出 现 各 种 伪 影 、 噪 声 、 结 构 变 形 和 结构 分 离 
Convolutional Neural Network, MWCNN)， 该 网 络 在 图 像 去 噪 、 ”等 问题 。 相 比 于 传统 图 像 增强 技术 ， 深 度 学 习 图 像 增强 技术 
单 幅 图 像 超 分 辨 率 和 JPEG 图 像 伪 影 去 除 等 方面 具有 良好 的 能 够 更 好 地 去 除 压缩 伪 影 。 然 而 ， 现 有 的 深度 学 习 增强 模型 
效果 。 为 了 解决 图 像 增强 性 能 、 网 络 参数 量 和 推理 时 间 之 间 存在 计算 复杂 度 过 高 、 运 算 内 存 占用 过 大 的 问题 ， 同 时 这 些 
的 权衡 问题 ，Zhang 等 人 0 提出 一 种 轻 量 化 的 快速 超 分 辩 网 现 有 的 网 络 只 能 解决 单 描述 图 像 增强 问题 。 将 这 些 网 络 直接 
络 (Wavelet Super-Resolution, WSR)， 该 方法 提出 一 种 可 变形 于 解决 多 描述 增强 任务 时 ， 只 能 单独 地 增强 边 路 和 中 路 解 
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多 描述 中 路 上 采样 重建 网 络 。 根 据 多 了 


码 和 中 路 联合 解码 的 特性 ， 设 计 了 一 种 残 差 递归 补偿 网 络 结 


1.1 


辩 率 图 


定稿 


像 ， 无 法 联合 边 路 和 中 路 特征 
一 种 联合 边 路 和 中 路 解码 特征 
首先 , 所 提 的 方法 需要 使 月 
Description Random Offset ba MDROQ) 方 法 51 对 
丛 入 图 像 进行 编码 和 解码 。 
带 有 失真 的 边 路 解码 图 
开 提 的 方法 将 多 描述 图 
像 重 建 两 个 阶段 。 
分 辨 率 特征 提 ] 
第 三 个 阶 


赵 利 军 ， 


像 增 强 分 为 


取 网 络 和 一 个 多 描述 


进行 解码 。 为 此 ， 提 出 了 


过 MDROQ 方法 可 
像 和 一 个 中 路 解码 图 像 。 如 
低 分 辩 率 特征 
第 一 个 阶段 包括 两 个 多 


rH 


F 学 习 的 多 描述 编码 图 像 增强 方 
目 多 描述 随机 1 


ue E fL (Multiple 


DE, 
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得 两 个 
1 所 示 ， 
提取 和 高 分 
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路 低 分 辩 率 特征 提取 网 


段 包括 两 个 多 描述 边 路 上 采样 重建 网 络 和 一 个 
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征 
示 
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等 其 用 于 边 路 和 中 路 的 低 分 辩 率 特征 提取 网 络 。 边 路 特 


m 同 但 细 
。 此 外 ， 所 


的 多 
各， 


述 边 路 上 采样 重建 网 络 也 采用 $21 
这 将 极 大 地 减 小 模型 总 参数 量 。 


参数 共享 


不 同 


[| 


融合 来 实现 压缩 
为 


Y 


图 像 ，X 表示 输入 的 


=X,+R(i=1,2,3) 
中 ，i=1,2,3 分 别 表示 边 路 1、 
图 像 ，R 表示 重建 网 络 预测 的 残 差 


于 边 路 上 采样 重建 网 络 ， 多 描述 中 路 上 采样 重建 网 
E IA XIII HEURE GE 


与 中 路 低 分 辩 率 特征 进行 深层 特 


像 的 增强 。 所 提 方 法 的 增强 过 程 可 以 表 


a) 
中 路 、 边 路 2，7 表示 增强 后 
图 。 


边 路 低 分 辨 率 特征 提取 网 络 


边 路 上 采样 重建 网 络 
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像 和 中 路 解码 


征 提取 
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效 地 提 
FRN 
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FR 


提取 


网 


的 现象 


时 在 网 络 递归 过 程 中 ， 将 递归 


同 于 单 描述 图 像 编 码 ， 考 虑 到 多 描述 图 
包含 多 个 边 路 解码 
习 络 包括 两 种 : 
络 。 为 了 避免 在 深度 


[| 


边 路 低 分 辩 率 特征 提取 网 络 和 中 路 特 
经 网 络 训练 过 程 中 模型 出 现 


图 1 所 提 方 法 的 


网 络 结构 


Fig. 1 Network structure in the proposed method 


像 ， mro 


， 同 MERRET 


经 网 络 的 可 学 习 参 数量 ， 所 
用 残 差 块 参数 共享 策略 来 有 
取 低 分 辨 率 特征 。 与 以 往 方法 不 同 的 是 , 这 里 的 参数 共 
各 不 是 将 两 个 边 路 网 络 都 


E, 而 是 进行 部 分 块 | 


间 的 共享 ， 


将 


其 与 前 


^] IH 
网 络 的 结构 如 


也 减少 了 
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络 参数 量 ， 


[| 


分 状 率 特征 提 1 


H 
结果 


使 用 1*1 卷 
个 递归 块 相 加 的 结果 输入 下 一 个 递归 
又 保证 了 不 同 支 路 间 的 
1 所 示 。 中 路 低 分 辨 率 特 和 


职 进 行 处 理 ， 

块 ， 这 样 既 
差异 性 ， 该 
提取 网 络 与 边 路 低 


取 网 络 的 相似 点 在 于 采 / 


同一 网 络 拓扑 结构 ， 但 


是 这 两 个 网 络 的 可 学 习 参 数 取 值 有 所 不 同 ， 如 图 1 所 示 。 
在 两 个 边 路 和 中 路 低 分 辩 率 特征 
一 个 卷 积 块 的 操作 ， 即 卷 积 CConvolution，Conv)+ 批 归 一 化 
(Batch Normalization, BN)*PReLU(Parametric Rectified Linear 


Unit) 激 活 函 数 , ER 


有 使 用 


XX H 


步 长 为 2 


标记 为 Conb 。 
的 下 采样 


将 


提取 网 络 中 ， 


首先 使 用 


图 


像 转 换 为 卷 积 特征 ， 


卷 积 操作 来 减少 运算 量 ， 然 后 采 


RS 


x 


JA E BU 2 38 VARMAN RATAR RERET e IE BT o 
个 补偿 过 程 中 ， 使 用 


在 
了 五 个 残 差 卷 积 块 (Residual 


Convolution Block，Resb) 依 次 进行 特征 提取 ， 同 时 将 这 些 提 
取 到 的 特征 进行 多 次 的 通道 加 权 平 均 融 合 。 残 差 卷 积 块 包括 


五 个 操作 ， 即 Conv+BN+PReLU 
提取 之 后 ， 


个 


特 


个 残 差 卷 积 块 的 特征 
四 次 通道 加 权 融 合 的 特征 再 
提取 网 络 的 低 分 辩 率 卷 积 特征 。 
取 网 络 每 层 的 参数 如 表 1 所 


征 


+Conv+ 跳 跃 连接 。 经 过 第 
将 其 与 初始 的 卷 积 特征 和 前 
次 进行 通道 加 权 特 征 融合 得 到 该 
边 中 路 低 分 辩 率 特征 提 


E 


示 。 具体 来 说 ,使 用 Conbl 进行 


^ 


将 


Conv2 中 ， 将 Resbl 的 输 


入 ， 


样 


采样 


Resbl 的 输出 与 Conv 


同时 提取 图 像 的 特征 ， 
到 Resbl 中 ,同时 将 Conbl 提取 的 


将 Conbl 提取 的 图 像 特征 输入 
图 像 特征 输入 到 Convl 中 ， 
1 的 输出 的 和 作为 Resb2 的 输入 。 在 
IA 5j Resb2 的 输入 作为 Conv2 的 输 


然后 将 Resb2 的 输出 与 Conv2 的 输出 的 和 作为 Resb3 的 
输入 。 类 似 于 Resb2 和 Resb3 操作 ，Resb4 与 Resb5 执行 同 


的 操作 。 在 Conv3 中 ， 


将 Resbl 的 输入 、Resb2 的 输入 、 


Resb3 的 输入 求 和 的 结果 作为 Conv3 的 输入 。 类 似 于 Conv2 


和 Conv3 操作 ，Conv4 与 Conv5 执行 同样 的 残 差 递归 


补偿 操 


作 。 最 后 ， 将 Resb5 的 输出 与 Conv5 的 输出 的 和 作为 低 分 辩 


率 


特征 


提取 网 络 的 输出 ， 


同时 ， 将 两 个 边 路 低 分 辩 率 特征 提 
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取 网 络 输出 的 结果 求 和 作为 中 路 上 采样 重建 网 络 的 输入 。 概 
括 来 说 ， 两 个 边 路 低 分 辨 特征 提取 网 络 可 以 表示 为 

Z; =8,(X;)(i=1,3) (2) 

Z42Z +Z (3) 
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样 重建 网 络 也 是 如 此 。 如 图 1 所 示 ， 在 两 个 边 路 上 采样 重建 
网 络 中 ， 深 层 的 卷 积 层 采 用 参数 共享 策略 ， 这 种 策略 能 够 保 
证 参数 量 较 少 的 同时 增强 图 像 重建 效果 。 
不 同 于 边 路 上 采样 重建 网 络 ， 中 路 上 采样 重建 网 络 不 仅 


其 中 ， 忒 表示 经 过 第 个 边 路 低 分 辨 率 特征 提取 网 络 表 示 后 


可 以 使 用 从 两 个 边 路 解码 图 像 提取 的 特征 图 ， 而 且 还 可 以 使 


的 特征 图 ，X; 表 示 多 描述 解码 的 第 i 个 边 路 图 像 ，g,(*) 表示 
边 路 X 一 2 的 特征 映射 ， 即 边 路 低 分 辩 率 特征 提取 网 络 的 映 
射 函数 。Z 是 和 Zz 特征 图 像 线 性 组 合 。 类 似 地 ， 中 路 低 
分 辨 率 特征 提取 网 络 可 以 表示 为 
Z, =8.(X2) (4) 
Kp. Z 表示 经 过 中 路 低 分 辨 率 特征 提取 网 络 表示 后 的 特征 
图 ，X, 表 示 多 描述 中 路 解码 图 像 ，g.(*) 表示 中 路 Xo >z 的 
特征 映射 ， 即 中 路 低 分 辩 率 特征 提取 网 络 的 映射 函数 。 

表 1 边 路 和 中 路 低 分 辩 率 特征 提取 网 络 的 实现 细节 


Tab. 1 Implementation details of side and central 


low-resolution feature extraction network. 
模块 卷 积 核 大 小 卷 积 步 长 零 填 充 的 尺寸 
Conb-1 3 2 
Resb-1 


3 
Conv-1 1 
Resb-2 3 
Conv-2 1 
Resb-3 3 
Conv-3 1 
Resb-4 3 
Conv-4 1 
Resb-5 3 
Conv-5 1 


pak hi mb (km eh cm gm 


1 
1 
0 
1 
0 
1 
0 
1 
0 
1 
0 


1.2 边 路 和 中 路 上 采样 重建 网 络 

经 过 上 述 边 路 低 分 辩 率 特征 提取 网 络 和 中 路 低 分 辩 率 特 
征 提 取 网 络 后 ， 分 别 可 以 得 到 两 组 边 路 低 分 辨 率 卷 积 特征 图 
和 一 组 中 路 低 分 辩 率 卷 积 特征 图 。 在 第 一 个 边 路 上 采样 重建 
网 络 中 ， 将 得 到 的 第 一 个 边 路 低 分 辩 率 特征 输入 到 五 个 串联 
的 卷 积 块 操作 得 到 重建 特征 ， 同 时 在 第 三 个 卷 积 块 操作 中 引 
入 跳跃 连接 ， 有 助 于 梯度 反 向 传播 。 最 后 ， 将 得 到 的 重建 特 
F 输 入 到 上 采样 (Transposed Convolution，ConvT) 卷 积 层 ， 即 
可 得 到 第 一 个 边 路 解码 增强 图 像 。 类 似 地 ， 第 二 个 边 路 上 采 


E 


从 中 路 解码 图 像 提取 的 特征 图 。 因 此 ， 在 边 路 上 采样 重建 
网 络 的 结构 之 上 ， 设 计 了 能 够 融合 这 些 特征 图 的 中 路 上 采样 
重建 网 络 。 中 路 上 采样 重建 网 络 与 边 路 上 采样 重建 网 络 都 使 
了 五 个 卷 积 块 操作 ， 但 不 同 的 是 在 跳跃 连接 之 后 将 得 到 的 
边 路 融合 特征 与 中 路 低 分 辨 率 特征 沿 通道 维度 进行 串联 ， 同 
时 在 中 路 上 采样 重建 网 络 中 深层 的 卷 积 层 没有 与 边 路 重建 网 
络 进行 参数 共享 ， 这 样 做 的 主要 原因 是 第 四 个 卷 积 块 的 输入 
特征 图 之 间 存 在 较 大 差异 ， 如 图 1 所 示 。 边 路 和 中 路 重建 网 
络 每 层 的 参数 如 表 2 所 示 。 边 路 上 采样 重建 网 络 的 非 线 性 映 
射 关 系 可 以 表示 为 


hal 


R -fa(A) (5) 
R, = fz (2Z;) (6) 
其 中 ，R 和 RR, 分别 表示 两 个 边 路 经 低 分 辩 率 提取 网 络 和 特 
FE 上 采样 重建 网 络 重建 后 的 图 像 ，Z 和 2, 表示 经 低 分 辨 率 特 
IE BUE REZ, fa C) 和 s C) 分 别 表示 两 个 边 路 上 采样 重建 
网 络 的 映射 函数 。 
以 表示 为 


EBEN 


中 路 上 采样 重建 网 络 的 非 线 性 映射 关系 可 


R =f. (Zi 25.2.) (7) 
KB, R 表示 经 低 分 辨 率 提 取 网 络 和 特征 上 采样 重建 网 络 重 
建 后 的 图 像 ，Z 表示 经 低 分 辩 率 特征 提取 后 的 图 像 ，f.(*) 表 
IZR 中 路 上 采样 重建 网 络 的 映射 函数 ,最 后 , 所 提 方 法 的 
边 路 和 中 路 的 整个 非 线 性 映射 关系 可 以 表示 为 
Y=X+R=X+fu(2)= Xt+ f(g,(X)) (8) 
Y, =X,+R,=X,+/f(2,2,,2;) (9) 
=X,+f.(g8,(X),8.(X,),g8,(X;,)) 
Y, = X; +R; = X; + fs (Z3)= Xs+fs(g,(X;)) (10) 
H, Y RA OIRR 1 PE XUPR 2 增强 后 的 
B, Xe XM X DARRAR 1. P R 2 解 
RR, Ro R, 和 R 分 别 表示 经 低 分 辩 率 提取 网 络 和 特征 上 
采样 重建 网 络 重建 后 的 边 路 1、 中 路 和 边 路 2 残 差 图 , fale) 
大 (和 fs (9) SIRER ZSR, (ZZZ) >R, F Z >R BB 
征 映射 函数 。 


| dd EB 


表 2 边 路 和 中 路 上 采样 重建 网 络 的 实现 细节 


Tab.2 The implementation details of side and central up-sampling reconstruction network 


边 路 上 采样 重建 网 络 中 路 上 采样 重建 网 络 
模块 卷 积 核 大 小 卷 积 步 长 零 填 充 的 尺寸 模块 卷 积 核 大 小 卷 积 步 长 零 填 充 的 尺寸 
Conb-2 3 1 1 Conb-2 3 1 1 
Conb-3 3 1 1 Conb-3 3 1 1 
Conb-4 3 1 1 Conb-4 3 1 1 
Conb-5 3 1 1 Conb-5 3 1 1 
Conb-6 3 1 1 Conb-6 3 1 1 
ConvT 5 2 2 ConvT 5 2 2 
1.3 损失 函数 Loss = a.Loss, + BLoss, + aLoss, (11) 
呐 有 图 像 重 建 损失 包括 内 容 损失 、 结 构 不 相似 性 损失 、 Be s 
全 变 分 损失 和 梯度 差 损 失 等 。 对 于 图 像 重建 的 内 容 损失 ， 往 ns 
往 采 用 L1 范 数 或 工 2 范 数 来 构建 损失 函数 。 很 多 的 研究 工作 Loss; = LY |n, - ff (13) 
表明 由 L2 范 数 构建 的 均 方 误差 损失 会 使 得 经 过 该 损失 函数 aa 
约束 的 模型 给 出 结果 呈现 过 度 平滑 的 效果 。 与 之 相 比 , 由 工 1 — " 
范 数 构建 的 平均 绝对 误差 损失 函数 会 使 得 经 过 该 损失 函数 约 na 
束 的 模型 输出 结果 和 原 图 更 接近 。 因 此 ， 本 文采 用 平均 绝对 其 中 ，Loss, 、Loss, 和 Loss, 分 别 为 第 一 个 边 路 解码 图 像 增强 损 
误差 损失 来 作为 图 像 增强 任务 的 损失 函数 。 所 提 方 法 的 总 损失 和 中 路 解码 图 像 增强 损失 以 及 第 二 个 边 路 解码 图 像 增强 损 
失 Loss 可 以 表达 为 失 。 五 和 无 分 别 为 第 一 个 边 路 的 预测 输出 图 和 原始 图 像 的 第 
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录用 定稿 赵 利 军 ， 
i 个 像素 , n 为 原始 图 像 的 像素 总 数 ， 其 他 标记 类 似 。% 为 边 
路 损失 函数 的 权重 ， B 为 中 路 损失 函数 的 权重 。 
1.4 算法 描述 

本 文 所 使 用 的 训练 数据 集 和 测试 数据 集 均 来 自 于 文献 
[26]。 该 数据 集 使 用 文献 [27] 和 文献 [28] 的 291 张 图 像 来 获得 
训练 图 像 块 集合 ， 其 中 91 张 图 像 来 自 于 文献 [27] 的 训练 数据 
集 , 其 余 200 张 图 像 来 自 于 文献 [28] 的 BSDS500 训练 数据 集 。 


据 集 ， 


简称 为 Set-1681。 通过 


文献 [26] 使 用 裁 切 、 下 采样 和 图 像 
最 终 获 得 1681 张大 小 为 160*160 的 图 像 , 将 该 数据 集 
多 描述 随机 偏 移 量 
Set-1681 数据 集 进行 压缩 来 获得 压缩 
TAEA Set-1681 RI Set- 168 UOI AER MDE PHARES IAE 


使 用 不 同 量化 参数 对 (Qstep0,Qstepl) 分 别 为 


接 


rH 


的 方式 来 得 到 训练 数 
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行 比较 。 本 实验 将 方法 ARCNN 、FastARCNN 、.DnCNN、WSR、 


DWCNNVI, 


和 中 路 增强 网 络 分 别 使 
同 。 考 虑 到 WSR 是 一 种 基于 小 波 变换 的 
层 去 除 来 实现 多 


将 WSR 


|I ERR 


图 2 所 
提 方 法 、 


展示 的 图 


化 方法 (MDROQ) 对 


后 的 数据 集 Set-1681(C)， 


(56,56.57)(96.96.57)(136,136. 57)(176,176.57) 和 (216,216.57) 来 


获得 不 同 失 


真 程度 的 压缩 区 


[| 


越 小 时 ,多 描述 图 像 月 
虽然 训练 数据 集 的 大 


能 ， 但 是 本 文 所 有 对 比方 法 


相同 的 ， 从 而 保 说 
接 下 来 , 将 介绍 所 


E 缩 失 


[| 


VAI 


的 训 


像 。 当 量化 参数 对 (Qstep0,Qstep1) 
越 小 , 即 保留 更 多 的 原始 信息 。 
像 类 型 会 影响 深度 学 习 网 络 的 性 
| 练 数 据 集 和 测试 数据 集 都 是 
E 了 对 比 的 公平 性 。 


提 MDE 网 


首先 利用 


IR> 
1681 


征 提取 网 络 参 数 从 


样 重建 


网 


述 随机 偏 移 量 
构建 MDE 
次 ， 对 边 路 低 分 辩 率 特征 
边 路 上 采样 重建 网 


络 参数 < 进行 初 接 下 来 ， 根 据 式 (2) 进 行 边 路 


提 


台 化 。 


低 分 辩 率 特征 提取 ， 与 此 同时 ， 根 据 式 


特征 提取 。 考 虑 到 多 


E 提 


码 , 根 
联合 优化 边 路 解码 特 和 


居 式 (5)(6) 和 (7) 进 行 边 路 和 


络 的 j 
化 方法 (MDROQ) 压 缩 Set- 
网 络 训练 所 需 的 数据 集 。 殿 
是 取 网 络 参 数 & 、 


| 练 算法 。 如 算法 1 所 


中 路 低 分 辩 率 特 
络 参数 4 和 中 路 上 采 


(4) 进 行 中 路 低 分 状 率 


和 述 边 路 解码 的 独立 性 和 中 路 的 联合 解 
P 路 上 采样 重建 预测 。 


为 了 


总 损失 函数 表达 式 (11)， 


算法 1 


E 和 中 路 解码 特征 ， 
通过 梯度 下 降 法 更 新 网 络 参数 
和 &。 经 过 训练 后 ， 输 出 并 保存 训练 好 的 MDE 网 络 模 型 。 
MDE 网 络 的 训练 算法 


输入 : Set-1681 数据 集 ( 图 像 总 数 n=1681 


RAŽ R-500, 优化 器 的 初始 学 习 率 Lr-2e-4, 更 


多 描述 随机 偏 移 量化 方法 (MDROQ) 压 缩 Set-1681 数 


i% 

像 批 大 小 b=8。 

输出 : 训练 好 的 MDE 网 络 模型 。 
使 

压缩 后 的 数据 集 ， 


3， 中 路 低 分 辨 率 


标记 为 Set-1681(C); 使 
Set-1681(C) 构 建 MDE 网 络 训练 所 需 的 数据 集 。 
对 MDE 网 络 参 数 进行 初始 化 设置 ( 边 路 低 分 辩 率 特征 提取 网 
寺 征 提取 网 络 参数 为 n. 边 路 上 采样 


A， 中 路 上 采样 重建 网 络 参数 为 &)。 


for epoch =1 to 


R do 


for i=1 to floor(n/b) do 


Wi (2) 
路 低 分 辩 率 特征 提 


行 边 路 低 分 辩 素 特征 
; 考虑 到 多 描述 边 路 解码 的 独立 性 和 中 路 的 联合 


解码 ， 根 据 式 (5)~(7) 


为 了 联合 优 


提取 ， 


行 边 路 和 中 路 上 采样 
化 边 路 解码 特征 和 中 路 解码 特 


依据 图 像 增强 任务 的 
Ey 4 


张 )，MDE 网 络 优化 的 总 


jr MDE 网 络 的 图 


据 集 ， 得 型 
Set-1681 数据 集 和 


络 参 数 为 
络 参数 为 


重建 网 


同 


上 时 根据 式 (4) 进 行 中 


重建 预测 。 
征 ， 依 据 图 像 增 强 任 


务 的 总 损失 函数 表达 式 (11) ， 通 过 梯度 下 降 法 更 新 MDE 网 络 参数 C. 


n. A fll £. 
end for 

end for 

最 后 ， 输 出 并 


2 


保存 MDE 网 络 模型 。 
实验 结果 与 分 析 


为 了 验证 所 提 MDE 方法 的 有 效 性 ， 将 其 
深度 学 习 方法 如 ARCNND]、 
WSRU4. DWCNNVI!?I, DWCNNVIC 


FastARCNNP!, 


与 现 有 的 多 个 
DnCNNI?! , 
BII DWCNNV2U?DE 


客观 质量 评价 指标 PSNR 和 SSIM 来 比较 各 种 医 
能 ， 而 且 使 用 网 络 的 总 参数 量 、 网 络 感知 
及 运行 时 间 来 评估 这 些 方法 的 性 能 。 此 外 ，:; 
法 增强 后 A ii 效果 对 比 


法 的 性 外 


像 来 自 于 文献 [26]， 将 这 些 攻 
ARCNN, FastARCNN, DnCNN, WSR, 
DWCNNVIC fil DWCNNV2 方法 的 性 能 。 这里， 


PS 
: 


DWCNNVIC 和 DWCNNV2 的 边 路 
同一 网 络 架构 ， 但 


1、 边 路 2 


网 


KI 


is HA 


络 参数 有 所 不 
像 超 分 辩 率 方法 ， 
图 像 的 增强 。 


图 像 ) 


于 测试 所 
DWCNNVI, 
将 不 仅 使 


EH] 


像 质 量 


增 方 


还 将 展 


野 的 大 小 以 
展示 这 些 方 


图 2 W 


试 数 据 集 的 样本 示例 


图 


Fig.2 Sample diagram of testing dataset 


21 仿真 环境 与 训练 设置 
本 文 在 深度 学 习 框 架 PyTorch 下 使 用 NVIDIA RTX 
2080Ti GPU 显卡 来 训练 和 测试 所 提 的 方法 。 采 用 ADAM 优 


化 器 来 训练 所 提 的 MDE 网 络 ， 该 优化 器 的 初始 学 习 率 Ir WE 


置 为 2e-4， 每 迭代 100 次 更 新 一 次 学 习 率 ， 学 习 率 的 乘 怕 
日 批 大 小 b 为 8 的 一 


减 率 为 0.5。 


每 次 使 月 


参数 ， 网 络 训练 的 总 迭代 次 数 为 R=500。 
2.2 客观 和 主观 质量 评价 


为 了 验证 


56.57)(96, 


用 单 下 划 


给 出 了 不 


同方 法 的 客观 订 
通过 对 比 可 以 发 现 ， 


所 提 方 法 的 可 行 性 ， 本 从 
像 增强 方法 , 如 ARCNN[5]、FastARCNN 
DWCNNVII!3. DWCNNVIC 

结果 如 表 3-5 所 示 ， 其 中 最 好 的 结果 ) 
,排名 第 二 的 结 
果 用 加 粗 字 体 表示 。 女 


EX 


组 图 像 来 更 新 网 络 


验 将 其 
31. DaCNN 


6] 


与 多 个 最 新 


多 


、WSRU4 


DnCNN, WSR, DWCNNVI, DWCNNVIC 和 DWCNNV2 方 


法 的 


FastARCNN, WSR, DWCNNVI, 


本 文 方法 参数 量 


的 参数 总 量 非 常 
评价 


d 


如 图 3~5 所 示 ， 


网 络 参数 量 进行 对 比 。 从 该 表 可 以 发 现 
DWCNNVIC 的 参数 量 是 
的 一 倍 多 ， 而 且 这 些 方法 的 PSNR 和 SSIM 
指标 低 于 本 文 方法 。 虽 然 DaCNN 和 
接近 ， 但 是 经 过 所 提 
Ex PSNR 和 SSIM 高 于 这 两 个 方法 。 


WSR 方法 与 
方法 增强 的 图 


将 经 过 所 提 的 方法 .ARCNN Fas 


ARCNN , 


所 提 方 法 
像 的 客观 


DnCNN, WSR, DWCNNV1, DWCNNV1CD 和 WCNNV2 77 


法 增强 后 的 压缩 


图 像 进行 比较 。 


码 图 像 存 在 严重 
细节 同时 更 加 清 


WSR、DWCNNV1、 


的 结构 分 裂 伪 影 ， 


Hi o TH 


能 够 使 得 增强 后 


图 像 
的 中 路 图 像 视觉 


的 所 
in 比 图 中 可 以 看 出 ， 
WSR, DWCNNV 


通过 对 比 可 以 发 现 ， 
而 中 路 解码 图 像 包含 更 多 
tk F ARCNN、FastARCNN、 
DWCNNVIC 和 DWCNNV2， 所 提 方 法 


边 路 解 


E 缩 图 像 更 清晰 。 如 医 
经 过 ARCNN、FastARCNN、DnCNN、 
1, DWCNNVIC 和 DWCNNV2 增强 的 压缩 
乃 然 存在 严重 的 模糊 伪 影 。 


[| 


DnCNN., 


3 所 示 ， 从 该 视觉 


与 这 些 方法 相 比 ， 所 提 方 法 


效果 更 好 一 些 ， 


法 的 


效 性 .从 图 


步 验证 了 本 文 所 提 方 
4.5 可 以 看 出 ,经 过 ARCNN、FastARCNN、 


DnCNN., WSR, DWCNNVI, DWCNNVIC fill DWCNNV2 J} 


^ 


Pi DWCNNV202 进 行 了 比较 ， 
j 双 下 划 线 加 粗 字体 表 
线 加 粗 字 体 表 示 , 排 名 第 三 的 结 
IX 3~5 所 示 ， 当 (Qstep0,Qstep1)=(56， 
96.57)(136, 136.57)(176, 176.57) 和 (216, 216.57) 时 ， 
EF 价 指标 PSNR 和 SSIM 对 比 结果 。 
经 过 所 提 方 法 增强 的 两 个 边 路 及 中 路 解 
码 图 像 的 客观 评价 指标 PSNR 和 SSIM 明显 高 于 其 他 方法 。 
如 表 6 所 示 ， 将 所 提 的 方法 与 ARCNN、FastARCNN、 


tARCNN、 


D 


法 增强 后 的 压缩 


赵 利 军 ， 等 : 


像 视觉 效果 非常 接近 ， 而 经 过 所 提 方 法 增 


强 的 多 描述 压缩 


联合 边 路 和 中 路 解码 特征 学 习 的 多 描述 编码 图 像 增强 方法 


像 视觉 效果 仍然 更 好 。 


表 3 在 不 同 (Qstep0,Qstep1) 下 经 过 多 描述 图 像 编码 方法 MDROQ 压缩 的 第 一 个 边 路 增强 图 像 的 客观 质量 对 比 


Tab.3 Objective quality comparison of the first side enhancement image under different (Qstep0,Qstep1) compressed by 


multi-description image coding method MDROQ 


对 比方 法 (56,56.57) (96,96.57) (136,136.57) (176,176.57) (216,216.57) 
PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 
MDROQ 31.54 0.8435 29.06 0.7822 27.58 0.7402 26.13 0.6995 25.33 0.6692 
ARCNN 32.42 0.8588 30.03 0.8049 28.59 0.7659 27.31 0.7315 26.32 0.7026 
FastARCNN 3226 0.8566 30.01 0.8047 28.56 0.7662 27.28 0.7313 26.40 0.7045 
WSR 32.31 0.8561 29.92 0.8013 28.42 0.7606 27.06 0.7246 26.14 0.6967 
DnCNN 3247 0.8595 30.09 0.8052 28.57 0.7642 2721 0.7276 26.30 0.6988 
DWCNNV2 32.31 0.8577 29.89 0.8024 28.47 0.7668 27.20 0.7310 26.04 0.7000 
DWCNNVI 32.50 0.8624 30.08 0.8084 28.45 0.7665 2722 0.7319 26.17 0.7039 
DWCNNVIC 32.35 0.8593 30.08 0.8078 28.49 0.7664 27.26 0.7332 26.25 0.7061 
本 文 方法 32.52 0.8613 30.22 0.8100 28.59 0.7674 27.38 0.7342 26.48 0.7081 
表 4 在 不 同 (Qstep0,Qstep1) 下 经 过 多 描述 图 像 编码 方法 MDROQ 压缩 的 第 二 个 边 路 增强 图 像 的 客观 质量 对 比 


Tab.4 Objective quality comparison of the second side enhancement image under different (Qstep0,Qstep1) compressed by 


multi-description image coding method MDROQ 


对 比方 法 (56,56.57) (96,96.57) (136,136.57) (176,176.57) (216,216.57) 
PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 

MDROQ 31.54 0.8431 29.04 0.7828 27.60 0.7407 26.15 0.6981 25.38 0.6689 
ARCNN 32.40 0.8589 30.03 0.8053 28.57 0.7659 2727 0.7329 26.30 0.7025 
FastARCNN 3225 0.8563 30.01 0.8046 28.55 0.7652 27.26 0.7324 26.37 0.7046 
WSR 32.28 0.8561 29.92 0.8011 28.41 0.7605 27.04 0.7254 26.11 0.6962 
DnCNN 32.46 0.8597 30.14 0.8066 28.60 0.7638 27.18 0.7281 26.26 0.6986 
DWCNNV2 32.33 0.8579 29.13 0.7879 28.37 0.7647 2721 0.7316 26.15 0.7044 
DWCNNVI 32.49 0.8624 30.11 0.8080 28.48 0.7669 27.18 0.7322 26.12 0.7017 
DWCNNVIC 32.32 0.8592 30.06 0.8074 28.53 0.7684 2722 0.7339 26.16 0.7046 
本 文 方法 32.55 0.8628 30.25 0.8099 28.65 0.7690 27.41 0.7364 26.47 0.7085 


表 5 在 不 同 (Qstep0,Qstep1) 下 经 过 多 描述 图 像 编 码 方法 MDROQ 压缩 的 中 路 增强 图 像 的 客观 质量 对 比 
Tab.5 Objective quality comparison of the central path enhancement image under different (QstepO,Qstepl) compressed by 


multi-description image coding method MDROQ 


对 比方 法 (56,56.57) (96,96.57) (136,136.57) (176,176.57) (216,216.57) 
PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM 

MDROQ 32.35 0.8591 29.85 0.8019 28.41 0.7619 26.94 0.7230 26.16 0.6944 
ARCNN 33.09 0.8704 30.69 0.8159 29.25 0.7814 27.95 0.7480 26.94 0.7198 
FastARCNN 32.94 0.8681 30.63 0.8181 29.19 0.7805 27.90 0.7475 27.01 0.7207 
WSR 33.02 0.8684 30.60 0.8162 29.14 0.7776 27.71 0.7433 26.76 0.7154 
DnCNN 33.15 0.8710 30.78 0.8193 29.26 0.7802 27.86 0.7445 26.96 0.7164 
DWCNNV2 33.09 0.8706 30.67 0.8182 29.04 0.7766 27.98 0.7511 26.68 0.7190 
DWCNNVI 3321 0.8733 30.84 0.8226 29.23 0.7828 27.95 0.7508 26.92 0.7229 
DWCNNVIC 32.87 0.8678 30.77 0.8217 29.15 0.7831 28.04 0.7512 26.91 0.7223 
本 文 方法 3325 0.8737 30.94 0.8238 29.35 0.7851 28.12 0.7535 27.13 0.7259 


表 6 不 同方 法 的 参数 量 大 小 比较 (1M=10e+6) 


Tab.6 Comparison of parameter numbers for different 


methods (1M=10e+6) 


对 比方 法 网 络 总 参数 量 
ARCNN 0.64M 
FastARCNN 0.66M 

WSR 0.62 

DnCNN 0.34M 
DWCNNV2 4.69M 
DWCNNVI 8.61M 
DWCNNVIC 0.71M 
本 文 方法 0.32M 


DnCNN, WSR, DWCNNVI, DWCNNVIC fil DWCNNV2 方 


法 的 感知 野 进 行 对 比 。 从 该 表 中 可 以 发 
FastARCNN 、DnCNN 、 


野 比 ARCNN 、 


Bu: 所 提 方 法 的 感知 
DWCNNV1 和 


DWCNNVIC 方法 更 大 。 但 是 ， 所 提 方 法 的 感知 野 比 WSR 和 


DWCNNV2 方法 小 。 


表 7 不 同方 法 的 感知 野 大 小 比较 
Tab.7 Comparison of receptive field size for different methods 
对 比方 法 感知 野 对 比方 法 感知 野 
ARCNN 55 DWCNNV2 217 
FastARCNN 141 DWCNNVI 145 
WSR 967 DWCNNVIC 145 
DnCNN 31 本 文 方法 187 


23 复杂 度 分 析 


如 表 7 所 示 ， 将 所 提 方 法 与 ARCNN、FastARCNN、 


如 表 8 所 示 , 将 所 提 方 法 不 同感 知 野 在 量化 参数 对 (Qstep0， 


Qstep1) 为 (216, 216.57) 时 中 路 图 像 的 PSNR 和 SSIM ì 


行 对 比 。 
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从 该 表 中 可 以 发 现 ， 随 着 感知 野 的 增加 ， 所 提 方 法 的 性 能 将 有 会 变 弱 ， 同 时 也 增加 神经 网 络 的 复杂 度 。 由 此 可 见 ， 神 经 网 络 
所 提高 。 但 是 当 感知 野 的 值 大 于 103 时 ， 性 能 将 逐渐 趋 于 饱和 ” ”的 感知 野 并 不 是 越 大 越 好 。 为 了 验证 所 提 方 法 的 有 效 性 , 将 所 
状态 。 此 外 ， 从 该 表 中 还 可 以 发 现 ， 当 不 同感 知 野 的 增强 模型 ” 提 方 法 与 ARCNN、FastARCNN、DnCNN、WSR、DWCNNV1、 
拥有 相同 级 别 的 参数 时 ， 它 们 的 运行 时 间 基 本 上 差别 不 大 。 一 DWCNNVIC 和 DWCNNV2 方法 的 运行 时 间 进 行 比较 , 如 表 
般 来 说 ， 大 感知 野 的 神经 网 络 可 以 利用 更 多 的 空间 相关 性 。 虽 “9 所 示 。 由 表 9 npn: 所 提 方 法 的 运行 时 间 比 FastARCNN 慢 
然 网 络 的 性 能 在 一 定 程度 上 受到 感知 野 的 影响 ， 0.007 秒 ， 但 它 比 ARCNN、DnCNN、WSR、DWCNNV1、 


野 的 不 断 增加 ， 空 间 位 置 差别 较 大 的 两 个 像素 之 间 的 相关 性 DWCNNVIC 和 DWCNNV2 方法 都 快 。 


£z. 


bii 


(a) 原 图 (c)DWCNNVI (d)DWCNNVIC ())DWCNNV2 


本 可 可可 


(fF ARCNN (g)WSR (h)FastARCNN G)DnCNN 人) 本 文 方法 
图 3 当量 化 参数 对 (Qstep0,Qstep1) 为 (216,216.57) 时 ， 中 路 增强 图 像 质量 对 比 
Fig.3 Image quality comparison of the central enhanced image with quantization parameter pair (Qstep0,Qstep1)= (216,216.57) 
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(a) 原 图 (b) 压 缩 后 的 图 像 (c)DWCNNVI —(d)DWCNNVIC (e)DWCNNV2 
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(fF ARCNN (g)WSR (h)FastARCNN G)DnCNN 人) 本 文 方法 
图 4 当量 化 参数 对 (Qstep0,Qstep1) 为 (216,216.57) 时 ， 第 一 个 边 路 增强 图 像 质量 对 比 
Fig.4 Image quality comparison of the first side enhanced image with quantization parameter pair (QstepO,Qstepl)- (216,216.57) 


3€8 在 量化 参数 对 (Qstep0,Qstep1) 为 (216,216.57) 时 ， 所 提 方 法 使 (Qstep0,Qstep1) 较 小 即 图 像 质量 较 高 时 ， 该 方法 恢复 效果 较 

用 不 同感 知 野 的 图 像 客观 质量 、 网 络 总 参数 量 和 运行 时 间 比 较 差 。 相 比 于 浅 层 网 络 ARCNN 和 FastARCNN 方法 ,使 用 更 

Tab.8 When the quantization parameter pair (Qstep0,Qstepl) is 深 网 络 结构 的 DnCNN 方法 能 够 提升 增强 后 的 图 像 质量 , 但 

(216,216.57), the proposed method compares the objective image 是 也 会 增加 网 络 的 计算 量 。WSR 和 DWCNNV 方法 主要 使 

quality, the number of total network parameters and 用 小 波 分 解 技术 来 解决 图 ui 强 问 题 。 上 述 方法 能 够 解决 多 

the running time of different receptive fields 描述 压缩 图 像 增强 问题 ,但 是 它们 并 没有 考虑 到 多 描述 编码 

感知 野 PSNR/SSIM 感知 野 PSNR/SSIM 的 边 路 独立 解码 和 中 路 联合 解码 的 特性 , 而 所 提 方 法 的 网 络 

43 27.06/0.7219 187 27.13/0.7259 结构 可 以 充分 利用 多 描述 编码 的 边 路 独立 解码 和 中 路 联合 

67 27.07/0.7233 223 27.10/0.7248 解码 的 特性 以 及 参数 共享 的 策略 ,在 降低 网 络 复杂 度 的 同时 

103 27.14/0.7246 367 27.11/0.7261 扩大 感知 时 使 图 像 拥 有 更 多 的 空间 相关 性 。 由 此 可 见 , 本 文 
127 27.14/0.7250 方法 是 一 种 非常 有 效 的 多 描述 压缩 图 像 增强 方法 。 

考虑 到 ARCNN 网 络 提取 的 特征 存在 着 大 量 的 元 余 信 2.4 ”消融 实验 与 分 析 

息 , 而 且 该 网 络 需要 通过 增加 网 络 参 数量 来 提升 该 网 络 的 性 为 了 更 好 地 分 析 所 提 的 方法 ,将 从 以 下 四 个 方面 进行 消 

能 ， 这 势必 增加 运行 时 间 、 计 算 成 本 和 存储 空间 。 虽 然 融 实 验 仿真 ， 即 残 差 卷 积 块 个 数 、 边 中 路 损失 权重 、 训 练 批 

FastARCNN 一 定 程度 缓解 了 这 些 问 题 ， 但 在 量化 参数 对 大 小 和 学 习 率 。 首先 , 本 实验 提供 了 残 差 卷 积 块 个 数 的 消融 


202205.00084v1 


chinaXiv 


录用 定稿 


实验 结果 ， 如 表 10 所 示 。 在 量化 参数 对 (Qstep0, Qstep1) 为 
(56, 56.57) 时 ， 该 表 给 出 了 当 残 差 卷 积 块 分 别 为 1、3、5、7 
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一 般 来 说 ，CNN 网 络 训练 的 超 参数 会 影响 网 络 的 性 能 。 最 
后 ,本 实验 提供 了 所 提 方 法 的 学 习 率 和 批 大 小 消融 实验 结果 。 


和 9 时 所 提 方 法 的 性 能 变化 情况 。 从 该 表 中 可 以 看 出 ， 当 残 如 表 12 所 示 , 对 批 大 小 为 4、8、12 和 16 进行 了 实验 仿真 。 

差 卷 积 块 的 个 数 大 于 5 时 , 所 提 方 法 的 性 能 趋 于 稳定 , 但 其 从 该 表 中 可 以 看 出 , 所 提 方 法 对 批 大 小 不 敏感 。 当 批 大 小 为 
参数 量 必然 增加 。 在 默认 情况 下 , 将 残 差 卷 积 块 的 数量 设置 8 时 , 所 提 方 法 的 PSNR 和 SSM 指标 最 高 。 如 表 13 所 示 ， 

为 5S。 其 次 ， 多 描述 编码 图 像 不 仅 存在 压缩 伪 影 问题 ， 而 且 本 消融 实验 对 学 习 率 为 le-4、2e-4 和 3e-4 分 别 进行 实验 仿 
存在 不 同 程度 的 结构 分 裂 问题 ,在 训练 时 边 路 和 中 路 的 损失 H. 从 该 表 中 可 以 发 现 所 提 方 法 对 学 习 率 也 不 敏感 。 虽然 使 
权重 会 影响 所 提 方 法 的 性 能 ,本 实验 提供 了 当 边 路 和 中 路 损 用 学 习 率 为 3e-4 训练 的 模型 的 PSNR 比 2e-4 的 略 高 ， 但 是 
失 函 数 边 中 路 权重 比分 别 是 0.1:1、0:0.1 和 1:1 时 所 提 方 法 使 用 学 习 率 为 3e-4 训练 的 模型 的 SSIM 比 2e-4 低 ， 考 虑 到 
的 性 能 对 比 ， 如 表 11 所 示 。 经 过 对 比 可 知 ， 当 边 中 路 损失 人 有 眼 更 关注 于 图 像 的 结构 区 域 , 在 默认 情况 下 将 学 习 率 设 定 


函数 权重 为 1:1 时 ， 所 提 方 法 的 PSNR 和 SSIM 指标 最 高 。 为 2e-4。 
(a) 原 图 (b) 压 缩 后 的 图 像 (c)DWCNNVI (d)DDWCNNVIC (eF)DWCNNV2 
(DARCNN (g)WSR (h)FastARCNN (i)DnCNN (0) 本 文 方法 


图 5 当量 化 参数 对 (Qstep0,Qstep1) 为 (216,216.57) 时 ， 第 二 个 边 路 增强 图 像 质量 对 比 
Fig.5 Image quality comparison of the second side enhanced image with quantization parameter pair (Qstep0,Qstep1)= (216,216.57) 


表 9 不 同方 法 的 平均 运行 时 间 比 较 路 和 中 路 解码 特征 学 习 的 多 描述 编码 图 像 增强 方法 。 首 先 ， 
Tab.9 Comparison of average running time of different methods 提出 一 种 残 差 递归 网 络 ， 将 其 作为 边 路 和 中 路 的 低 分 辩 率 
对 比方 法 ”运行 时 间 ( 秒 / 张 ) 对 比方 法 ”运行 时 间 ( 秒 / 张 ) 特征 提取 网 络 。 其 次 ， 根 据 边 路 和 中 路 的 解码 特性 采用 参数 
ARCNN 0.045 DWCNNV2 0.056 共享 策略 来 有 效 地 提取 两 个 内 容 相 同 且 具有 差异 性 的 边 路 图 
FastARCNN 0.013 DWCNNVI 0.094 像 特征 。 最 后 ,将 两 个 边 路 低 分 辩 率 特征 /中 路 低 分辨 率 特征 
WSR 0.085 DWCNNVIC 0.032 通过 边 路 /中 路 上 采样 重建 网 络 来 实现 多 描述 压缩 图 像 的 增 
DnCNN 0.022 本 文 方法 0.02 强 。 大 量 的 实验 结果 表明 ， 在 模型 复杂 度 、 客 观 质量 评价 和 
3 ”结束 语 视觉 质量 方面 , 本 文 方 法 优 于 很 多 的 深度 学 习 图 像 增强 方法 。 
一 在 未 来 的 工作 中 ， 将 考虑 使 用 单个 深度 学 习 模 型 解决 不 同 量 
针对 多 描述 编码 的 压缩 失真 问题 ， 本 文 提出 一 种 联合 边 ”化 参数 下 多 描述 编码 图 像 的 增强 问题 。 
表 10 所 提 方 法 的 残 差 卷 积 块 个 数 消融 实验 结果 对 比 
Tab. 10 Ablation study on the proposed method with different numbers of residual convolution blocks 
x 残 差 卷 积 块 个 数 
1 3 5 7 9 
边 路 1 32.33/0.8583 32.47/0.8610 32.52/0.8613 32.53/0.8613 32.53/0.8608 
边 路 2 32.43/0.8587 32.54/0.8621 32.55/0.8628 32.57/0.8613 32.58/0.8629 
中 路 33.13/0.8703 33.24/0.8731 33.25/0.8737 33.27/0.8743 33.27/0.8738 
平均 数 32.63/0.8624 32.75/0.8654 32.77/0.8659 32.79/0.8656 32.79/0.8658 
表 11 所 提 方 法 的 不 同 边 中 路 损失 权重 消融 实验 结果 对 比 
Tab.11 Ablation study on the proposed method with different side and central path loss weights 
权重 边 路 1 边 路 2 中 路 平均 数 
a: B=0.1:1 32.44/0.8579 32.55/0.8624 33.25/0.8734 32.75/0.8646 
a: p-1:0.1 32.31/8.8534 32.52/0.8625 33.23/0.8737 32.69/0.8632 
a: B=1:1 32.52/0.8613 32.55/0.8628 33.25/0.8737 32.77/0.8659 
表 12 所 提 方 法 的 不 同 批 大 小 消融 实验 结果 对 比 
Tab.12  Ablation study on proposed method with different batch-size 
TIER 边 路 1 边 路 2 中 路 平均 数 
4 32.49/0.8623 32.52/0.86270 33.23/0.8740 32.75/0.8663 
8 32.52/0.8613 32.55/0.8628 33.25/0.8737 32.717/0.8659 
12 32.38/0.8595 33.55/0.8620 33.24/0.8737 32.72/0.8649 
16 32.51/0.8630 32.52/0.8616 33.22/0.8729 32.75/0.8658 
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表 13 所 提 方 法 的 不 同学 习 率 消融 实验 结果 对 比 
Tab. 13 Ablation study on proposed method with different learning rates 
学 习 率 边 路 1 边 路 2 中 路 平均 数 
le-4 32.47/0.8604 32.50/0.8617 33.18/0.8724 32.72/0.8648 
2e-4 32.52/0.8613 32.55/0.8628 33.25/0.8737 32.71/0.8659 
3e-4 32.52/0.8597 32.58/0.8626 33.28/0.8739 32.79/0.8654 
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